Desenvolvimento de Escalas e Questionários
Análise de Dados Ambientais
Universidade Estadual de Feira de Santana (UEFS)
DE INSTRUMENTOS DE AUTORRELATO
CONSTRUÇÃO & ADAPTAÇÃODEINSTRUMENTOS
O que é um instrumento psicológico
Ferramenta que busca mensurar aspectos cognitivos, emocionais e comportamentais de seres
humanos
CONSTRUÇÃO & ADAPTAÇÃODEINSTRUMENTOS
Quando construir e quando adaptar?
Módulos seguintes:
Construção de instrumentos
Adaptação de instrumentos
Evidências de validade de instrumentos
CONSTRUÇÃO & ADAPTAÇÃODEINSTRUMENTOS
DE INSTRUMENTOS DE AUTORRELATO
ETAPAS DACONSTRUÇÃO
Elaboração de itens
Avaliação das evidências de validade
REVISÃO DA LITERATURA
Você não pode medir o que você não sabe o que é
“Inteligência é o que os testes medem” (Boring, 1923)
REVISÃO DA LITERATURA
Revisão da literatura
REVISÃO DA LITERATURA
Definição constitutiva (Pasquali, 2010)
O que é (ou como se define) o fenômeno Definição operacional
Como o fenômeno se manifesta
Depressão
A depressão pode ser definida como XXXX. Seus sintomas são variados e podem se agrupar em diferentes categorias, tais como emocionais (e.g. AAA), cognitivos (BBB), comportamentais (CCC), físicos (DDD), etc.
Autoeficácia
Autoeficácia pode ser compreendida como XXXX e engloba sentimentos de YYYY. Com base na definição constitutiva e operacional, você criará os itens que irão mensurar o construto.
Revisão da Literatura
REVISÃO DA LITERATURA
Revisão Sistemática/Integrativa
Investigação focada em uma questão-problema, que visa identificar, selecionar, avaliar e sintetizar as evidências relevantes disponíveis na literatura científica de uma determinada área do conhecimento
Metodologia controlada e organizada tanto para a busca de artigos quanto para a análise e integração do conteúdo recuperado (Borsa & Seize, 2018; Zoltowski et al., 2014)
Critérios de inclusão e exclusão de estudos
REVISÃO DA LITERATURA
Revisão Sistemática
OR
NOT
Stress Scale Stress Scale Stress Scale
Work Work Work
REVISÃO DA LITERATURA
Revisão Sistemática
REVISÃO DA LITERATURA
Revisão não-sistemática
REVISÃO DA LITERATURA
Revisão da literatura
MEU CONSTRUTO É POUCO ESTUDADO
O que fazer?
REVISÃO DA LITERATURA
Revisão da literatura
.
(Artigos teóricos, principalmente) | DEFINIÇÃO OPERACIONAL (Artigos de validação de medidas) | | — | — | | Perspectiva 1 (Autor A) | Escala 1 (Autor F) | | Perspectiva 2 (Autor B) | Escala 2 (Autor G) | | Perspectiva 3 (Autor C) | Escala 3 (Autor H) | | Perspectiva 4 (Autor D) | Escala 4 (Autor I) | | Perspectiva 5 (Autor E) | Escala 5 (Autor J) |
REVISÃO DA LITERATURA
Definição constitutiva e operacionalização de itens
A depressão pode ser definida como XXXX. Seus sintomas são variados e podem se agrupar em diferentes categorias, tais como emocionais (e.g. AAA), cognitivos (BBB), comportamentais (CCC), físicos (DDD), etc.
Depressão DASS-21
Por favor, na hora de responder, considere as últimas quatro semanas.
| 3. Eu não conseguia ter sentimentos positivos | Humor deprimido |
|---|---|
| 5. Eu achei difícil ter iniciativa para fazer as coisas | Falta de motivação |
| 10. Eu senti que não tinha expectativas positivas a respeito de nada | Pessimismo |
| 13. Eu me senti abatido(a) e triste | Humor deprimido |
| 16. Eu não consegui me empolgar com qualquer coisa | Falta de motivação |
| 17. Eu senti que não tinha muito valor como pessoa | Baixa autoestima |
| 21. Eu senti que a vida não tinha sentido | Vazio existencial |
DE INSTRUMENTOS DE AUTORRELATO
ELABORAÇÃO DE ITENS
.
Exemplo de uma escala de Burnout
Despersonalização
Despersonalização é a faceta interpessoal do Burnout. Caracteriza-se por atitudes de distanciamento e indiferença frente aos colegas de trabalho ou às pessoas as quais o profissional precisa lidar/atender. É manifesta por meio de comportamentos negativos, insensíveis e cínicos como, por exemplo comentários rudes e grosseiros dirigidos a colegas de trabalho, falta de paciência para ouvir/lidar com as pessoas,
culpabilização de terceiros frente aos próprios erros, incapacidade de expressar
empatia, dentre outros.
Item A
Item B
Item C
Item D
Exaustão Emocional
(….)
Público-Alvo
Itens precisam ser construídos pensando no público-alvo
Linguagem adequada para a faixa-etária
Itens simples e diretos
Comportamentos esperados/plausíveis para a faixa-etária
O que é esperado para alunos do Ensino Médio/Adultos que não é esperado para alunos do EF?
.
ELABORAÇÃO DE ITENS
Contexto
Evite regionalismos e gírias
Pense na heterogeneidade do Brasil
A linguagem deve ser o mais próxima possível da linguagem falada.
Evitar “academiquês”, mas sem errar nas normas cultas.
.
ELABORAÇÃO DE ITENS
Diretrizes para construção de Itens
Varie a forma de início da pergunta
“Em geral…”; “Em geral….”
Devem ser escritos em uma única frase
Ex: Eu gosto de festas Construção direta e objetiva
Evitar duas frases:
“Não gosto de falar em público, porque sinto que as pessoas vão tirar sarro de mim”
Evitar duas negações
“Não costumo fazer coisas que não considero certas” → “Faço coisas erradas com frequência”
.
ELABORAÇÃO DE ITENS
Diretrizes para construção de Itens
Evite construir itens pensando nos antecedentes e nos consequentes do construto
Evite construir itens que tangenciem mais de um construto
Continuum
Para cada uma das facetas, a escala precisa ter itens fáceis e itens difíceis.
Itens fáceis referem-se a itens que boa parte das pessoas conseguem responder a categoria mais alta (Concordo totalmente)
Itens difíceis referem-se a itens que poucas pessoas conseguem responder a categoria mais alta (Concordo totalmente)
Se a escala for muito fácil, todo mundo vai atingir o teto (responder tudo alto)
Inviabiliza mensuração de avanços, devido à intervenção;
Impossibilita a separação de pessoas com diferentes níveis no traço medido.
.
ELABORAÇÃO DE ITENS
Emparelhamento (Theta vs. Dificuldade)
Cuidado:
Ao ter itens variando em dificuldade, tenha amostra variando em nível de traço latente
.
Dificuldade do item
Theta da amostra
Efeito chão
ELABORAÇÃO DE ITENS
Emparelhamento (Theta vs. Dificuldade)
Cuidado:
Ao ter itens variando em dificuldade, tenha amostra variando em nível de traço latente
.
Dificuldade do item
Theta da amostra
Efeito teto
ELABORAÇÃO DE ITENS
Emparelhamento (Theta vs. Dificuldade)
Cuidado:
Ao ter itens variando em dificuldade, tenha amostra variando em nível de traço latente
.
Dificuldade do item
Theta da amostra
ELABORAÇÃO DE ITENS
Continuum
.
ELABORAÇÃO DE ITENS
| 3. Eu não conseguia ter sentimentos positivos |
|---|
| 5. Eu achei difícil ter iniciativa para fazer as coisas |
| 10. Eu senti que não tinha expectativas positivas a respeito de nada |
| 13. Eu me senti abatido(a) e triste |
| 16. Eu não consegui me empolgar com qualquer coisa |
| 17. Eu senti que não tinha muito valor como pessoa |
| 21. Eu senti que a vida não tinha sentido |
Ampliando a dificuldade do item de forma intencional
Os itens podem ser ‘repetidos’, apenas mudando a sua intensidade:
Exemplo** de iniciativa social**
Tenho vergonha de falar em público
Odeio falar em público
Falar em público é uma tortura para mim
O contexto do item pode ser alterado:
Tenho vergonha de falar em público
Interagir com pessoas é o que mais gosto de fazer
.
ELABORAÇÃO DE ITENS
Ampliando a dificuldade do item de forma intencional
Cuidado:
Se a sua escala likert é do tipo de frequência (Nunca a Sempre), evite colocar frequência na pergunta:
.
ELABORAÇÃO DE ITENS
| Item | Nunca | Raramente | Às vezes | Frequente- mente | Sempre |
|---|---|---|---|---|---|
| Sempre me preocupo que algo de ruim possa | |||||
| acontecer a qualquer momento | 1 | 2 | 3 | 4 | 5 |
| Item | Nunca | Raramente | Às vezes | Frequente- mente | Sempre |
|---|---|---|---|---|---|
| Tenho muito medo que algo de ruim possa acontecer a qualquer momento | 1 | 2 | 3 | 4 | 5 |
Número de itens
AVALIAÇÃO POR JUÍZES
AVALIAÇÃO POR JUÍZES
Após os itens serem construídos, deverão ser submetidos para avaliação de juízes (experts)
Entre 3 e 5 juízes (Pacico, 2018; Cassepp-Borges et al., 2012)
Ficha de avaliação
.
AVALIAÇÃO POR JUÍZES
AVALIAÇÃO PELO PÚBLICO-ALVO
Público-alvo
Tamanho da amostra para avaliação do público-alvo
EVIDÊNCIAS DE VALIDADE
Estudo de validade de conteúdo.
Passar para outras evidências de validade (Módulo específico).
.
VALIDADE DE CONTEÚDO
ANÁLISE DE CONCORDÂNCIA
O que é
Concordância é o grau em que dois avaliadores, instrumentos, etc., dão o mesmo valor quando aplicados ao mesmo objeto.
Na Psicometria, a técnica é muito aplicada para atestar validade de conteúdo de medidas
Diferentes tipos
ANÁLISE DE CONCORDÂNCIA
| Tipo |
|---|
| Porcentagem de Concordância |
| Índice de Validade de Conteúdo |
| Razão de Validade de Conteúdo |
| Coeficiente de Validade de Conteúdo |
| Coeficiente de Correlação Intraclasse |
| Kappa de Cohen (dicotômico) |
| Kappa de Cohen ponderado (politômico) |
| Coeficiente de concordância de Kendall |
| Kappa de Fleiss |
| Bland-Altman |
ANÁLISE DE CONCORDÂNCIA
Diferentes tipos
| Tipo |
|---|
| Índice de Validade de Conteúdo (IVC) |
| Razão de Validade de Conteúdo (RVC) |
| Coeficiente de Validade de Conteúdo (CVC)* |
ÍNDICE DE VALIDADE DE CONTEÚDO
Proporção ou porcentagem de juízes em concordância sobre a relevante teórica do item (Pollit & Beck, 2006)
Escala de Likert com pontuação de 1 a 4
Os itens que receberem pontuação de 1 ou 2 devem ser revisados ou eliminados
IVC = No de respostas 3 ou 4
No total de respostas
O índice de concordância aceitável entre os membros do comitê de especialistas deve ser de no mínimo 0,80 e, preferencialmente, maior que 0,90 (Polit & Beck, 2006).
ÍNDICE DE VALIDADE DECONTEÚDO
RAZÃO DE VALIDADE DE CONTEÚDO
Razão de validade de conteúdo (RVC)
Desenvolvido por Lawshe (1975), o RVC é uma técnica amplamente utilizada
Juízes avaliam a relevância** **do item em 3 categorias:
RVC = (n - N/2) ,
e
(N/2)
*ne = número de avaliadores que julgou como **essencial*
onde:
N = número de juízes
Pontos de corte (Ayre & Scally, 2014)
RVC = (n - N/2) ,
e
(N/2)
*ne = número de avaliadores que julgou como **essencial*
onde:
N = número de juízes
Valores variam de -1 (Discordância total) a +1 (Concordância total)
Critério rigoroso
Leva em consideração valores estatisticamente diferentes do
acaso (p < 0,05).
Para tabelas maiores que 10 juízes, consultar artigo (Ayre & Scally, 2014)
RAZÃO DE VALIDADE DE CONTEÚDO
| No. juízes | RVC | No. de concordantes |
|---|---|---|
| 5 | 1 | 5 |
| 6 | 1 | 6 |
| 7 | 1 | 7 |
| 8 | 0.75 | 7 |
| 9 | 0.78 | 8 |
| 10 | 0.80 | 9 |
COEFICIENTE DE VALIDADE DE CONTEÚDO
CVC desenvolvido por Hernandez-Nieto (2002), avalia:
(Exaustão Emocional) | Fator 2 (Despersonalização) | Fator 3 (Baixa realização no Trabalho) | | — | — | — | — | | Item A | | | | | Item B | | | |
Avaliação dos juízes:
Pontuam os itens de 1 a 5
| Item | M-Clareza | M-Pertinência | M-Relevância |
|---|---|---|---|
| Item 1 | 0,466 | 0,422 | 0,388 |
| Item 2 | 0,333 | 0,477 | 0,466 |
| Item k | … | … | … |
Cálculo do CVC
CVC = Média / Maior escore possível
Clareza | CVCc - Pertinência | CVCc - Relevância | | — | — | — | — | | Item 1 | 0,925 | 0,923 | 0,971 | | Item 2 | 0,955 | 0,933 | 0,895 | | Item k | … | … | … | | CVCt | Média | Média | Média |
ESTUDO-PILOTO
Estudo-piloto qualitativo (avaliação da população-alvo)
Estudo piloto quantitativo?
REFERÊNCIAS
Almanasreh, E., Moles, R., & Chen, T. F. (2018). *Evaluation of methods used for estimating content validity. Research in Social and Administrative Pharmacy.** *doi:10.1016/j.sapharm.2018.03.066
Ayre, C., & Scally, A. J. (2014). Critical Values for Lawshe’s Content Validity Ratio. Measurement and Evaluation in Counseling and Development, 47(1), 79-86. doi:10.1177/0748175613513808
Hernández-Nieto, R. A. (2002). Contributions to statistical analysis. Mérida: Universidad de Los Andes.
Landis, J. R, & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1):159-74.
Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28, 563-575.
Polit, D. F., & Beck, C. T. (2006). The content validity index: Are you sure you know what’s being reported? critique and recommendations. Research in Nursing & Health, 29(5), 489-497. doi:10.1002/nur.20147
Rubio DM, Berg-Weger M, Tebb SS, Lee S, Rauch S. Objectifying content validity: conducting a content validity study in social work research. Soc Work Res 2003; 27(2):94-105.
Wilson, F. R., Pan, W., & Schumsky, D. A. (2012). *Recalculation of the Critical Values for Lawshe’s Content Validity Ratio. Measurement and Evaluation in Counseling and Development, 45(3), 197-210.** *doi:10.1177/0748175612440286
Obrigado!
Luiz Diego Vidal Santos
Universidade Estadual de Feira de Santana (UEFS)
UEFS | Análise de Dados Ambientais | Construção de Instrumentos de Medida